面向视频深度研究报告的 Agent 基准与评测框架
🧭 Agent 评测 · 视频深度研究报告
Peking University · Alibaba Token Hub, Alibaba Group
构建首个以源视频为中心的深度研究 Agent 基准 OmniDR-Bench，并提出原子化 Rubric 树评测方法
📌 工作参考价值（4 点）
- 可将 Omni-ARTs 的原子化 rubric 树和 ARC 构建流程复用到电商视频内容评测（如商品讲解、直播回放、教程视频），对 Agent 生成的卖点摘要做逐条可验证打分，替代模糊的 LLM-as-judge。
- skill-based workflow 提供可插拔结构，适合在商品视频导购/答疑 Agent 中按“问题拆解 → 多模态证据检索 → 交互式报告/回答卡片”组织 pipeline，尤其要求输出带时间戳引用，直接匹配短视频带货场景的卖点溯源。
- 当前 Agent 在跨模态因果推理和引用准确性上仍是明显短板，业务上做视频问答或报告生成时，应增加对引用证据的强校验层（检索片段强制回挂时间戳并二次校验），避免 LLM 幻觉影响用户决策。
- 中英文双语任务与 19 个真实子类别设计可参考，用于构建电商垂直领域的视频 Agent 回归集，覆盖不同品类和问题类型。
GatewayBench：MCP 网关能力与安全统一评测平台
🧭 Agent 基础设施评估基准
Tsinghua University · University of Chicago · University of Illinois Urbana-Champaign
首个 MCP 网关统一评测基准，量化扁平与层级网关在任务完成、效率与攻击韧性上的差异
📌 工作参考价值（4 点）
- 在电商/广告 Agent 场景中，若需接入大量工具（商品搜索、订单、营销、报表等），优先采用层级式 MCP 网关，通过工具发现 meta-tool 按需检索，避免将所有工具 schema 塞入 context，降低 token 消耗并提升任务完成率。
- 评测自有 Agent 工具调用时，可借鉴 GatewayBench 注入大量无关工具，模拟真实大规模工具面，观察模型在干扰下的选择能力；工具池尽量用真实业务工具而非合成样本。
- 安全侧：层级网关并非天然安全，需在工具发现层增加权限过滤、来源验证与工具描述审查，防止恶意工具通过检索被暴露给 agent。
- GatewayBench 提供统一任务和可验证 judge 的评测框架，可直接复用其任务构建思路，为内部 MCP 网关选型和迭代建立可量化的回归测试。
OR-License：评估 LLM Agent 作为真实运筹优化实践者
🧭 LLM Agent 端到端运筹优化评估
HKUST-GZ · HKU · Qingzhi Optimization (Jinan) Information Technology Co., Ltd. · Hunyuan, Tencent · Tianjin Meta & Infinite Technology Co., Ltd
用 31 个真实付费 OR 项目构建基准，通过客户端模拟器评估 LLM Agent 从原始需求到可部署方案的端到端能力
📌 工作参考价值（4 点）
- 在业务中让 LLM Agent 处理需求分析与建模时，不要只依赖初始 prompt，可引入受控的“客户模拟器”或澄清循环，显式管理信息获取阶段（澄清、建模、验证），并跟踪已确认问题的解决率。
- 评估生成式推荐/优化系统时，除了软性质量指标，应加入可行性硬性检查与类似 DAQ 的“不可行归零”指标，避免模型产出无法部署的方案。
- 对长链路 Agent 任务（如自动选品、库存规划、物流调度），可借鉴研究链完成率定位失败环节：问题表述、代码实现、结果验证，再针对性加入 RAG 或 self-correction。
- 与专家解对比时注意信息边界：业务中 Agent 不应假设隐含专家知识，要显式建模信息获取过程，否则会高估条件质量而低估部署风险。
Harness-Delta 归因：拆解 Agent Harness 进化的性能增益来源
🧭 Agent 评测与进化增益归因
Amazon · New York University
提出 HDA 协议，将 harness 进化增益归因为 overfitting、test-time scaling 与 residual 三类
📌 工作参考价值（4 点）
- 在做 Agent 搜索结果页策略、推荐链路 prompt/tool 搜索时，引入 HDA 式分解：对 search set 的 lift 拆成 artifact overfitting、inference compute scaling 与 residual；只报验证集不够。
- 必须设置 held-out tasks/跨类目流量做泛化验证；电商 query 推荐、广告文案生成等场景，benchmark 相似 query 的增益常不迁移到真实分布。
- 对加入多采样、投票、更多推理步数的方案，单独量化 test-time scaling 贡献，避免把“多算力带来的提升”误判为 harness 设计有效。
- 用 artifact-driven probes（如检测规则式捷径、重复输出短路）暴露过拟合；可在推荐 Agent 中设计反事实或干扰样例来检查泛化。
RLE-Bench：编码智能体作为机器人学习工程师的资格考试基准
🧭 编码智能体 · 机器人工程能力评测
Harvard University · Georgia Institute of Technology
提出覆盖四类机器人开发工作流的编码智能体评测基准，用 RLE Index 聚合多维工件指标并给出排行榜
📌 工作参考价值（4 点）
- 借鉴“工作流拆解 + 工件级评估”范式：将电商推荐 Agent 的能力按 query 理解/候选召回/排序策略/诊断优化等 workflow 拆分，分别评估 Agent 产出的代码、配置或策略，避免只测对话文本。
- 借鉴 RLE Index 的异构指标归一化聚合方法：在 Agent 综合能力排名中，对不同任务的成功率、策略收益、结构指标等做标准化后加权，可用来比较不同 LLM 驱动的推荐 Agent。
- 引入资源约束与多模态反馈的评估条件：电商 Agent 常面临延迟、成本、多样性约束，评测时可加入相应限制，考察 Agent 在受限环境下生成可部署 artifact 的能力。
- 案例研究定位 failure mode：对 Agent 在复杂搜索推荐任务中的行为做细粒度分析，可发现 LLM 在集成异构组件、处理多模态信号时的具体短板，指导后续微调或 prompt 设计。
已完成配对掩盖被截断失败：选择性上下文投影的 ReVerPi 案例研究
🧭 Agent 评估方法 · 上下文投影
Independent AI Researcher
揭示评估中因仅保留完成配对而掩盖资源受限失败，并给出双臂独立执行的评估方法论
📌 工作参考价值（4 点）
- A/B 评估必须双臂独立执行：在 Agent 或推荐策略对比中，不要因一个 arm 先失败/超时而抑制对照 arm；应保留所有干预边界，否则会系统性丢失高成本失败案例，歪曲结论。
- 报告完成率与资源消耗，而非只看成功样本：离线评测生成式推荐、query 改写或 RAG 时，同时记录 completion rate、交互轮数、logical tokens；仅比较完成样本会掩盖资源耗尽型失败。
- Context projection 是双刃剑：将旧 tool observation 压缩为可寻址摘要可减少 25% 聚合 logical tokens，但可能增加 29% 中位 tokens 与更多检索请求（35→55）；在构建 agent 记忆或对话压缩模块时，需以完整交互序列评估端到端收益。
- 分离 fitting 与 evaluation 以避免 selector 偏差：如果部分数据用于选择/调参，再在同一批数据上统计，会发现虚假 tie；业务中训练/验证/测试须严格隔离，否则资源与成功率结论不可靠。
先仿真后上线：1.4亿用户规模的生产客户体验AI智能体筛选
🧭 用户仿真 · Agent 部署前筛查 ★ 深度解读
Nubank · Guardrails AI
用假设驱动的工具边界用户仿真对生产CX智能体做部署前筛选，加速迭代并带来显著业务提升
📌 工作参考价值（4 点）
- 把用户仿真作为上线前的标准筛查层：在电商客服、购物助手、推荐对话机器人等场景，可以用 persona-driven 的模拟用户和 mock 工具层开展多轮交互，提前暴露不必要转人工、工具调用失败、回复不当等问题，避免直接让真实用户承担风险。
- 工具边界 mocking 是工程落地的关键：模拟环境不调用生产后端，而是由 persona 代理根据工具 schema 和一致性规则返回合成结果，能保证同一对话内状态一致；这比 mock 整个数据库更轻量，易于在 Agent 与外部 API 交互密集的业务中复用。
- 假设驱动 + 预设筛选标准，而非追求模拟与生产完全一致：每次只验证一个候选改动（如 prompt 修改、工具策略调整、模型替换），用同一套 evaluator 对比 incumbent 和 candidate 的失败率，达标才进入 live A/B；模拟的价值在于指导方向，不要求精确复现生产指标。
- 用模拟快速扫描模型与推理配置：对 open-weight 模型、reasoning effort、量化精度进行大规模仿真实验（如 16k+ 对话），能低成本发现各模型对不同评估维度的敏感差异，再挑选候选进入线上验证，大幅缩短选型周期。
LLM Agent 不确定性量化：分类法、评估协议与实证研究
🧭 Agent 轨迹级不确定性与校准 ★ 深度解读
Trinity College Dublin, Ireland · University of Texas Health Science Center at Houston, USA · University College Dublin, Ireland · Northeast Forestry University, China
提出三轴分类法与轨迹级校准指标 TC-ECE，揭示 Agent 步级校准无法推出轨迹级校准
📌 工作参考价值（4 点）
- 在构建推荐/搜索 Agent 时，不要只监控最终答案置信度；在 planning、retrieval、tool call 每个步骤输出 confidence，并在轨迹检查点评估 TC-ECE。尤其在多步召回/排序/重写流程中，早期错误会累积，需要 mid-trajectory 干预信号。
- 不要把每步置信度相乘作为整体可靠性：步骤间相关性会导致低估或高估，建议拟合轨迹级校准器或使用生存因子 q_t，并对前缀可靠性分层监控。
- 多 Agent 协作（如 query 理解、召回、排序、出价等模块）中，相似训练历史导致相关性错误共识；需要加权仲裁，保留不同意见，不能简单平均。
- 论文发现 Agent 自述置信度不一定可靠，建议与简单基线（如 step-index）对比；部署前离线用真实轨迹校验。
SWE-Bench Pro Verified：面向软件工程智能体的可靠评测基准
🧭 Agent 软件工程评测基准
East China Normal University · Shanghai Artificial Intelligence Laboratory · Fudan University
通过防泄漏与任务整改构建更可信的 SWE-Bench Pro 版本，揭示原有榜单高估模型软件工程能力
📌 工作参考价值（4 点）
- 构建内部 Agent 评测集时，优先排查 git history、本地文件、公开代码托管域等泄漏通道；可将 gold patch 与待评测代码隔离，必要时重写或删除仓库历史，避免模型通过检索直接获取答案。
- 任务质量要像本工作一样做最小化修正：校验 issue/problem statement 是否误导，测试是否错误限定范围；剔除或修正低质实例，防止噪声项拉高虚假通过率。
- 发布内部 leaderboard 或模型选型前，加入 anti-hacking safeguard 和留出验证集，监控模型是否利用 hidden info；对电商/推荐场景的 Agent（智能客服、选品、推荐策略）同样适用，防止能力虚高。
- 若需用 SWE-Bench 类代码任务筛选模型，优先采用 verified 版本；其思路可复用到「有标准答案的生成式任务」，对可作弊信号（点击、库存、商品标题等）做脱敏与隔离。
EarlyEval：通过早期结果预测降低 Agent 评估成本
🧭 Agent 评估成本优化 · 早停预测 ★ 深度解读
Shanghai Jiao Tong University · Singapore Management University · East China Normal University · Shanghai Innovation Institute
用 LightGBM 对部分轨迹预测最终成功/失败并提前终止，最高省 44% 输入 token 且几乎不改变排行榜排名
📌 工作参考价值（4 点）
- 对长链路搜索/导购/售后 Agent 的回归评测，可用历史 rollout 日志训练 LightGBM 成功/失败二分类器，在线每步提取行为+文本特征并校准阈值早停；相比 LLM-as-judge 每步推理，CPU 级推理开销可忽略。
- 特征设计不必依赖 gold 答案：行为特征（重复操作、错误类型、无编辑持续步数、测试失败趋势）和 TF-IDF+SVD 文本特征已能提供强信号；无参考解时可关闭 reference 特征，精度损失很小。
- 双阈值结构与独立 success/failure 分类器比单一联合模型更可控，可按业务需要分别调 precision/coverage，Platt 校准后阈值才可直接比较；建议在评估平台上做留一 agent/策略配置的验证。
- 适用于需要反复评测多个 prompt / scaffold / 模型版本迭代的场景：早停不会显著改变相对排名（ρ≥0.959），可作为内部快速反馈，最终对外榜单仍跑全程。
单次成功不等于可靠：有状态业务工作流的 Thinkingbox 沙盒与基准
🧭 Agent 可靠性评估 · 有状态业务沙盒 ★ 深度解读
University of Pittsburgh · Northwestern University · University of California, Irvine · Microsoft
提出可执行的状态副作用检查沙盒 Thinkingbox，发现最强模型 pass@1 仅 65.36%，且全部 20 次成功仅 25.25%
📌 工作参考价值（4 点）
- 在电商售后/订单修改/退款等有状态场景，评估 agent 不能只看回复或工具调用是否合法，应定义可执行的后端状态检查（订单、退款、优惠券记录），同时校验“必须变更”和“禁止副作用”。
- 上线评估应同时报告 pass@1 和 pass^k（如 pass^20 全部成功），区分“偶尔能找到成功路径”和“稳定可靠执行”，避免把 pass@20 当可靠性指标。
- 工具错误恢复是主要失效模式（平均 77.5%），建议在 prompt 或训练数据中强制 agent 在关键写操作后二次读取/校验状态，而不是假设工具成功返回即完成。
- 模拟用户可设计为“只回答被问的信息、不主动补充”，推动 agent 学会澄清缺失字段（地址、授权、时间等），接近真实客服多轮交互。
超越最终分数：面向长时域 AI 研究与开发的智能体系统性评估
🧭 Agent 长时域任务过程评估与经验复用
Meituan · University of Chinese Academy of Sciences
通过过程化指标与受控对比，评估 7 个前沿模型在 36 个长时域任务上的行为，发现当前智能体更像工程优化器而非自主研究者
📌 工作参考价值（3 点）
- 评估 Agent 不能只看最终指标，应监控 Solution Framing、Execution、Feedback Control 三个过程环节，定位瓶颈是方案设计、代码执行还是反馈调整，再针对性优化。
- 经验复用是把双刃剑：成功经验可能误导后续决策，建议在 Agent 记忆模块中加入相似性门控或置信度过滤，避免盲目复用历史方案。
- Harness 设计（提示模板、工具接口、实验环境）会显著影响表现稳定性，在业务中上线 Agent 前需隔离变量做 A/B 测试，避免将平台差异误判为模型能力。
A2E：端到端智能体审计引擎
🧭 Agent 评估引擎与多维指标体系
Shanghai Artificial Intelligence Laboratory
提出A2E端到端评估引擎，通过ATP协议和多维指标系统揭示Agent框架能力差异
📌 工作参考价值（4 点）
- 在电商搜索推荐Agent落地中，可借鉴ATP协议思想，定义统一的Agent任务接口，降低不同框架之间的切换与评估成本。
- 多维指标（工具调用、规划完整性、错误恢复等）比单一准确率更能定位Agent短板，可直接用于Agent迭代优化与A/B测试。
- 自动注入的Monitor机制，能无侵入采集执行轨迹，适合构建线上Agent的全链路观测与质量监控。
- 实验揭示“模型+框架”组合效果强依赖任务类型，提示业务选型时需按场景分别评测，避免单一组合大一统。
AV-AIVAT：结合方差缩减与置信序列实现74倍廉价Agent评估及保证的随时停止
🧭 Agent评估 · 随时有效停止
融合方差缩减AIVAT与置信序列，实现证据充分即停的有保证评估，成本降低74倍
📌 工作参考价值（4 点）
- 在线A/B测试或Agent对战评估中，可使用控制变量法（类似AIVAT）降低方差，结合置信序列（CS）实现随时停止，显著节省推理/人力成本，同时保持统计保证。
- 避免固定样本量或窥视p值带来的风险：采用任何时间有效推断，可在证据充足时立即决策，加速实验迭代。
- 对于LLM agent在线评估，可训练一个仅依赖历史数据的价值模型，生成零均值修正项，确保修正因子独立于当前对局，正确实现方差缩减。
- 在推荐系统广告实验中，可借鉴分层结构（渐近CS快速筛选，经验伯恩斯坦CS严格认证），将早期停止流程标准化、可审计化。
AgentCompass：解耦式统一 Agent 评估基础设施
🧭 Agent 评测基础设施 · 解耦式架构 ★ 深度解读
Shanghai AI Laboratory
通过解耦 Benchmark、Harness、Environment，实现灵活组合、故障容忍与细粒度轨迹分析的 Agent 评测框架
📌 工作参考价值（4 点）
- 解耦设计复用：将任务定义（Benchmark）、Agent 交互逻辑（Harness）、执行环境（Environment）分离，业务中可组合不同策略与环境进行 A/B 测试，避免重复开发。
- 异步容错流水线：参考其任务分发、并发控制与增量恢复机制，构建长周期 Agent 评估的高效流水线，减少资源浪费。
- 细粒度轨迹诊断：不仅看最终得分，还要记录工具调用、延迟、异常模式，建立分类分析器检测 reward‑hacking、重复循环等缺陷，指导 Agent 迭代。
- 统一模型协议：制定内部标准 API 与数据格式，方便接入不同 LLM 或 Agent 框架进行公平对比，降低评估集成成本。
UniClawBench：面向真实世界任务的主动式智能体通用基准
🧭 Agent 评估基准与能力分析
HKU MMLab · Meituan
首个能力驱动、在动态 Docker 环境中闭环评估主动智能体的基准，揭示框架比模型更影响性能
📌 工作参考价值（4 点）
- 能力解耦设计：将任务按 Skill Usage、Exploration、Long-Context Reasoning、Multimodal Understanding、Cross-Platform Coordination 五个维度划分，可启发我们在构建电商搜索/推荐 Agent 时按能力模块进行独立评估与优化
- 闭环评估策略：采用执行器-监督器-用户模拟器三角色闭环，隐藏真值、模拟多轮人类反馈，可用于内部 Agent 迭代，避免静态评测过拟合
- 框架选择比模型更重要：实验结论提示我们在实际系统中应优先优化 Agent 框架（工具编排、上下文管理）而非盲目升级基础模型
- 实时环境执行（Docker 容器+步骤检查点）：可借鉴将 Agent 丢入真实可操作环境（如浏览器、终端）并设计细粒度完成度打分，弥补传统离线评测的不足
AgentLens：以轨迹审查评估生产级编程代理
🧭 代理评估 · 轨迹审查
Explyt · St. Petersburg Department of the Steklov Institute of Mathematics · St. Petersburg State University
提出基于LLM审查完整交互轨迹的编程代理评估基准，提供可解释评价用于诊断与回归检测。
📌 工作参考价值（4 点）
- 从结果评估转向过程评估：在电商对话Agent（如导购助手）中，不仅评估最终推荐商品是否准确，还需审查对话轨迹的指令遵循、工具调用、错误恢复，以提升用户体验。
- LLM轨迹审查用于回归检测：借鉴nightly评估管道，用LLM编写审查脚本，自动对比新旧版本Agent的轨迹，捕捉产品回归（如回答风格变差、幻觉增加）。
- 形式化验证+LLM审查混合策略：对可客观验证的部分（如商品ID有效性、API调用格式）用形式化检查，对主观质量（解释流畅性、推荐理由合理性）用LLM审查，兼顾准确性和灵活性。
- 开放任务评估：对于生成商品描述、推荐文案等没有唯一正确答案的任务，采用整体轨迹质量评分，替代简单的pass/fail。
PACE：用原子评估低成本预测 Agent 能力的代理基准
🧭 Agent 评估 · 代理基准构建
Carnegie Mellon University · Salesforce AI Research
从非 Agent 原子评估中选取少例子集构建回归代理，预测 Agent 基准得分，成本低于 1% 且 MAE < 4%
📌 工作参考价值（4 点）
- Agent 选型与模型路由的快速筛选：面对 SWE-Bench、GAIA 等高成本 Agent 评测，可在内部构建 PACE 类代理，用小批量原子任务（指令跟随、工具调用等）快速预估候选模型或变体的 Agent 能力，避免全量昂贵评测，适合电商搜索/推荐 Agent 的 A/B 前筛选。
- 实例选择策略可迁移至推荐离线评估：PACE 的“目标相关局部选择 + 全局信息选择”组合，可借鉴到推荐模型的召回/排序评估中，从海量物品中选择少量 proxy items，以低成本近似在线指标。
- 解耦 Agent 能力画像：通过分析所选代理实例，可识别特定 Agent 基准（如工具使用、长程规划）对哪些原子技能最敏感，指导电商 Agent 训练时针对性地补强薄弱环节。
- 工程落地轻量：仅需线性回归，无需复杂模型，适合在 CI/CD 中集成，作为每次模型更新的快速健康检查，成本几乎可忽略。
穿越考验：重新评估 Agent 在陌生环境中的泛化能力
🧭 Agent 评估基准 · 泛化能力探针
University of Oxford · SoftServe · Massachusetts Institute of Technology · The Chinese University of Hong Kong · UK AI Security Institute
提出 GauntletBench 基准，揭示当前最佳 Agent 在时间感知/图形理解/3D 推理任务上仅 19.1% 成功率，远低于人类 80%+。
📌 工作参考价值（4 点）
- 评估泛化缺口：当前推荐/电商 Agent 的评测也易陷入熟悉任务饱和，可借鉴 GauntletBench 设计新维度（如时间感知、图形理解）的任务集，揭示模型在真实业务场景的短板。
- 多模态能力补强：电商 Agent 常需理解 UI、处理含时间序列的数据（如库存变化、促销时段）或分析商品 3D 模型，该基准揭示的视觉推理缺陷提醒我们在构建 Agent 时需重点强化这些能力。
- 模块化评测框架：论文提供的 web 环境、任务套件与自动评测流水线可复用到电商 Agent 测试中，构建可重复、可对比的评测基准，降低人工评估成本。
- 人类基线锚定：用非专家人类表现（>80%）作为参照，量化 Agent 成熟度，帮助业务团队设定合理的自动化预期与优化目标。
指令渗漏：提示组合智能体系统的跨模块干扰
🧭 Agent 提示组合干扰评估
University of Illinois Urbana-Champaign
形式化提示组合Agent中的行为泄漏(CBL)，提出三通道探测协议并确认内容通道产生显著干扰效应
📌 工作参考价值（4 点）
- 构建多模块提示组成的搜索/推荐 Agent 时，需评估模块间干扰：无共享变量也可能通过上下文窗口的自注意力产生行为泄漏，建议在部署前对模块组合进行联合测试。
- 可直接复用三通道探测协议（volume、content、form）来量化生产 Agent 的 CBL，其中 content 通道最易触发干扰，可作为最小可行测试集。
- 效应虽未引起单次推荐翻转（Cohen’s d=0.63），但在高吞吐场景下微小偏移会随决策次数积累，评估时不能只看 QA 准确率，必须监控分布级偏移。
- 工程上可在提示编排中引入明确的分隔标记或模块隔离策略（如约束注意力范围），以减少非预期的跨模块信息混合。
MEMPROBE：通过隐藏用户状态恢复审计 Agent 长期记忆
🧭 Agent长期记忆的可审计评估 ★ 深度解读
University of Illinois Chicago · KU Leuven · UC San Diego
将 Agent 记忆视为可审计产物，从遗留记忆重建隐藏用户状态，直接量化记忆质量
📌 工作参考价值（4 点）
- 恢复审计评估：对电商客服、推荐对话等 Agent 系统，定期从记忆库中重构已知用户属性（如偏好、历史事实），与真实值比对，而非仅看下游任务指标，直接暴露记忆质量。
- 分离写入与检索诊断：采用“全量导出（dump_all） vs 系统 top-k 检索”的双模式对比，快速定位是记忆写入遗漏还是检索索引不足，指导优化写入策略或检索模块。
- 强化情景记忆绑定：针对用户单次关键交互（如退货纠纷原因），要求记忆系统不仅存储事件表面，还要保留事件与后果的因果链，提升后续个性化推荐的上下文深度。
- 检索感知的整合策略：在写入时即考虑后续检索场景，将原始对话转化为简洁、可检索的结构化摘要，确保关键偏好能在有限的 top-k 召回中命中，避免“存储了却拿不出”的困境。
超越静态排行榜：面向 LLM Agent 的预测效度评估
🧭 Agent 评估基准与方法论
IBM
揭示聚合排行榜在分布外环境下排名不稳定，提出以预测效度替代平均分评估 Agent 配置
📌 工作参考价值（4 点）
- 评估构建警惕排行榜过拟合：在构建内部 Agent 评估集时，不要过分追求固定基准上的平均分提升；需检验在业务分布变化（如季节、新物品）下的排名稳定性，可借鉴论文的预测效度指标。
- 多维度测量取代单一分数：可参照提出十二层测量装置，覆盖推理、检索、编排等维度，设计针对电商搜索推荐 Agent 的细粒度诊断，避免重要维度被聚合分数掩盖。
- 分布外实验纳入评估流水线：将 OOD 测试作为 Agent 上线前的必要检查，设定可证伪阈值，防止仅在历史数据拟合上优异、线上失效。
- 预注册实验设计提升评估可信度：在关键 Agent 选型中，预先固定评估方案和成功标准，避免事后解释偏差，增强决策说服力。
SIMMER：基于世界模型的LLM可执行规划潜在失败基准测试
🧭 Agent 规划可靠性评估 · 潜在失败检测 ★ 深度解读
The Pennsylvania State University
提出符号化厨房世界模型与状态机执行器，系统评估并缓解LLM智能体规划中的潜在与不可逆失败。
📌 工作参考价值（4 点）
- 借鉴“潜在失败”概念，在多步决策流程（如促销路径规划、智能客服对话策略）中引入隐性错误检测，避免最终目标被无声破坏。
- 使用符号化状态机执行器 + 世界模型进行离线仿真，可精确审计计划中的状态传播（如库存变化、用户意图漂移）导致的不可逆错误。
- 采用反事实前瞻模拟（Counterfactual Foresight），让模型在生成每一步时主动预测并修正潜在的隐性危害，显著提升规划安全性。
- 在序列推荐或 Agent 交互中，不应只检查即时前置条件，需定义后执行审计规则，捕捉全局安全违规（如资源耗尽、死锁）。
智能体评估的智能体化：用标准化协议实现开放、标准、可复现的评估
🧭 Agent 评估标准化 · 多智能体评估 ★ 深度解读
UC Berkeley · UC Santa Cruz · EPFL · IBM Research · Carnegie Mellon University
将基准测试本身封装为 judge agent，通过 A2A 与 MCP 解耦评估逻辑，使任意智能体无需定制即可互操作
📌 工作参考价值（4 点）
- 标准化评估接口：用 A2A（任务分发）与 MCP（工具访问）解耦 benchmark 与待测 agent，消除 N×M 集成成本，可直接复用到电商多智体评测（如客服 agent、推荐 agent、风控 agent），仅需实现 A2A wrapper 即可接入任何 judge agent。
- 多种部署模式：远程/托管/代理/CI 模式覆盖隐私与公开需求，电商团队可选择本地模式保护闭源 agent，或通过 CI 模式把评估嵌入 CI/CD，实现上线前自动化回归。
- 可组合的 judge agent 设计：judge agent 内部可灵活组合用户模拟器、LLM-as-judge 等子 agent，便于构建自定义评估流水线，如模拟买家行为、评估商品推荐 agent 的多轮对话质量。
- 降低评估门槛：通过自然语言描述评估逻辑（semantic internalization）即可快速创建新 benchmark，无需硬编码，适合业务快速验证新场景下的 agent 行为。
VISTA：面向交互式智能体评估的混合用户仿真工具包
🧭 交互式智能体评估 · 混合用户仿真 ★ 深度解读
Columbia University · Arklex.ai
结合 UI 与 API 混合仿真并引入覆盖率、真实感等六项指标，更全面地暴露智能体故障
📌 工作参考价值（4 点）
- 混合仿真架构：在电商客服或对话式推荐 Agent 评估中，可借鉴 UI 交互与 Mock API 相结合的方式，用 API 可靠提供用户订单、账户等结构化信息，避免纯 UI 导航的噪声与误操作，同时更全面地触发 Agent 故障。
- 覆盖率指标用作自动质量信号：工具转移熵、工具分布熵、轨迹距离等指标无需人工标注就能衡量仿真多样性；实践中可用其持续监控仿真器是否能充分探索 Agent 能力边界，作为评估有效性的代理指标。
- 故障自动识别框架：LLM-as-Judge 从 helpfulness/coherence/relevance 等五维度评分后合并故障理由，可自动化地归类 false information、repetition 等典型错误，辅助 Agent 迭代优化。
- 真实感一致性的自动评测：用户画像、目标与领域知识一致性评测采用参考无的 LLM 判断，与人类评分正相关（ρ=0.60），可作为仿真质量快速反馈信号，无需昂贵人工评估即可调优仿真策略。
M3Exam：真实用户-智能体交互的多模态记忆基准测试
🧭 多模态长期记忆评估与模态感知检索 ★ 深度解读
The Hong Kong University of Science and Technology · Beijing University of Chemical Technology · Harbin Institute of Technology (Shenzhen) · Beijing Institute of Technology (Zhuhai) · Tencent Hy
首个多会话多模态记忆基准M3Exam及模态感知方法M3Proctor，按需使用原始视觉提升13%准确率且token减少70%以上
📌 工作参考价值（4 点）
- 模态感知级联检索：电商Agent可借鉴M3Proctor的查询模态偏向检测，先用文本替身回答，仅在需要时加载图片/文档，大幅降低多模态推理token成本。
- 记忆索引优化：将图片转为caption、文档转为digest作为文本替代品，并附加模态标签，结合偏向重排序提升跨模态检索精度，适用于多模态商品知识库的RAG。
- 长会话记忆摘要：通过紧凑的session summary维持跨会话线索，帮助电商智能客服在多轮对话中保持用户长期记忆，避免上下文断裂。
- 隐式意图评估设计：引入Implicit Inference和Thematic Reasoning题型，可移植到推荐系统长期用户理解的评测中，检验模型从非明确信息推断偏好与状态的能力。
HLL：多模态智能体能否跨越人类验证的最后一道防线
🧭 多模态Agent · 验证边界与交互鲁棒性评估 ★ 深度解读
上海交通大学 · 山东大学 · 同济大学
构建CAPTCHA交互基准，分层评估多模态智能体在验证边界上的感知、动作与过程一致性。
📌 工作参考价值（4 点）
- 电商Agent评估应引入分层现实性压力（页面干扰、难度、动态验证），暴露定位与动作精度短板，而非仅看最终结果。
- 借鉴动态验证机制（轨迹连续性、目标中心一致性、重复错误检测），可在订单提交等工作流中确保Agent的操作过程合法，防止“猜对答案”式的成功。
- 失败模式分类（感知解码、目标定位、动作校准、状态跟踪）可直接用于诊断电商Agent在表单填写、按钮点击等场景中的具体瓶颈，指导模型迭代。
- 通过注入弹窗、广告等干扰元素进行压力测试，可提升Agent在真实杂乱电商网页上的抗干扰能力，类似HLL的干扰轴设计可复用到自建评估集。
Agentic CLEAR：LLM 代理系统的多层级自动评估框架
🧭 代理行为多层级自动评估 ★ 深度解读
IBM Research
一种无需预定义错误分类的动态多粒度代理评估方法，自动生成系统、节点与步骤级的文本诊断洞察
📌 工作参考价值（4 点）
- 多粒度自动诊断：可将步骤级、trace级、系统级评估嵌入电商 Agent 开发流水线，自动发现重复工具调用、策略错误、输出格式违规等问题，替代人工逐条检查 trace。
- 无需预定义错误分类：动态生成评估维度（rubric）和错误模式，适合频繁变化的推荐流程或购物 Agent，大幅降低适配成本。
- 可集成到已有观测平台：支持 LangFuse 格式，提供 PyPI 包，可以快速接入现有 Agent 观测系统，利用 LLM Judge 输出补充自动评分以外的文本解释。
- 对齐人类标注的可靠参考：与 TRAIL 错误分类的 macro-F1 达 0.459，能够替代部分人工审核，尤其适用于线上 Agent 质量监控与回归检测。
DeepWeb-Bench：需大规模跨源证据与长程推导的深度研究基准
🧭 深度研究智能体评估与诊断 ★ 深度解读
Peking University
提出一个包含矩阵任务、溯源记录和校准维度的深度研究基准，揭示检索非瓶颈、推导与校准才是主要挑战。
📌 工作参考价值（4 点）
- 电商/市场分析Agent构建：可复用矩阵任务格式（实体×分析维度）和四能力（检索、推导、推理、校准）设计，用于自动生成竞品报告或行业分析。
- 信息抽取可靠性：引入源溯源等级（T1-T4）和跨源一致性检查，可作为电商知识库或RAG系统的证据可信度评估模板，减少幻觉。
- 工程实现启发：发现检索并非瓶颈，应重点投入多步数值组合与校准逻辑，例如在推荐系统的归因分析或财务推演Agent中显式要求推导步骤。
- 领域专长差异：模型在不同品类表现差异大（相关仅0.61），提示为细分场景（如新能源车、芯片）定制微调或专用提示链，而非通用方案。
WildClawBench：面向真实世界长周期智能体的基准测试
🧭 Eval ★ 深度解读
Shanghai AI Laboratory · The Chinese University of Hong Kong · Fudan University · University of Science and Technology of China · Shanghai Jiao Tong University
构建60个真实长周期多模态Agent任务，揭示前沿模型在原生运行时下最高仅62.2%